DeepStress: Stress-Testing Deep Search Agents
DeepStress：深度搜索代理的压力测试
🧭 搜索代理鲁棒性评估与压力测试
Orange Research · Aix-Marseille Univ. · CNRS
提出DeepStress框架，通过控制检索证据的可信度、相关性和事实性来测试搜索代理对低质量信息的鲁棒性
📌 工作参考价值（4 点）
- 搜索/推荐Agent评估中，可构建类似DeepStress的合成检索环境，注入不同比例的不可靠文档（如虚假产品描述、无关广告），提前暴露模型脆弱点
- 评估指标不应仅看最终答案/推荐准确率，需引入指标量化参数知识与检索知识的冲突情况，区分“被误导”与“合理拒绝”
- 在电商Agent中，可借鉴三个扰动维度：可信度（用户评论真实性）、相关性（搜索召回噪声）、事实性（商品属性错误），针对性设计鲁棒性提升策略
- 对于生成式推荐（如Semantic ID），当检索到的item表示被污染时，可模仿本文方法测试生成结果的偏离程度，指导训练或后处理逻辑